SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute
自验证改良：通过联合判定与置信度强化学习实现自适应测试时计算
🧭 自适应推理 · 自验证强化学习
Sun Yat-sen University · Guangdong Key Laboratory of Big Data Analysis and Processing · X-Era AI Lab
学习自验证与置信度作为内部控制信号，在推理时自适应分配计算预算，无需外部验证器
📌 工作参考价值（4 点）
- 多轮决策的自适应终止：在推荐Agent或对话系统中，可以借鉴SVR让模型在对每轮输出（如推荐列表、搜索建议）同时生成质量判定和置信度，达到阈值则提前终止交互，节省LLM调用成本。
- 无需外部监督的自我验证训练：通过奖励校准自验证正确性，模型能内生判断能力，适用于电商场景中缺乏及时反馈的推荐解释、文案生成等任务，训练时只用最终答案正确性，推理时自我把关。
- 联合输出校准与决策：将离散判定与连续置信度联合输出，并通过校准奖励使其对齐真实准确性，该思路可迁移到CTR预估中的不确定性建模或排序模型的置信度输出。
- 自适应计算分配：对简单样本自动减少推理步数，复杂样本多步迭代，类似思想可用于动态召回、重排序的算力分配，例如对低候选集质量的请求执行更多召回或精排步骤。